Năm 1937, bị mật thám Pháp theo dõi, ông được tổ chức cho thoát ly về dạy học ở xã Trung Mầu, ven đê sông Đuống.

Năm 1940, ông về quê tham gia thành lập "chi bộ ghép" thuộc huyện Từ Sơn. Về tới xã, ông tuyên truyền vận động giác ngộ quần chúng cùng anh em, họ hàng thành lập chi bộ đầu tiên ở xã Đình Bảng. Tháng 8 năm 1940 đại diện xứ uỷ Bắc Kỳ đã quyết định thành lập Chi bộ đầu tiên của Đình Bảng, trực thuộc Trung ương và xứ uỷ Bắc Kỳ. Chi bộ gồm 3 đồng chí: Nguyên Duy Thân, Lê Quang Đạo, Nguyễn Trọng Tỉnh. Đồng chí Lê Quang Đạo được cử làm Bí thư Chi bộ đầu tiên của Đình Bảng. Ông Lê Quang Đạo (sau này là Trung tướng, Chủ tịch Quốc hội), cháu gọi ông Thân là cậu ruột, được ông giới thiệu kết nạp và là Bí thư đầu tiên của xã. Vừa tham gia sinh hoạt tại chi bộ xã, ông Thân vừa tham gia hoạt động tại Hà Nội.

Tới năm 1941, ông bị lộ, bị bắt và đày lên Sơn La. Những tháng năm giam cầm ở nhà tù Sơn La, vì giỏi tiếng Pháp, khi bị tra tấn, ông lý luận với quản giáo: "Nghe nói nước Pháp dân chủ, văn minh. Vậy cớ sao ở đây các ông lại hành hạ, đánh đập tù chính trị? Như vậy có dân chủ, văn minh hay không?". Đuối lý, kẻ địch phải cho ông - một trong số ít tù chính trị - không phải mặc quần áo tù.

Đầu năm 1945, ông cùng một số tù chính trị ở Sơn La - lợi dụng tình hình Nhật hất cẳng Pháp ở Đông Dương - tổ chức vượt ngục thành công. Ngay sau đó, ông về Đan Thượng, Phú Thọ xây dựng "chi bộ ghép" đầu tiên, sau này phát triển sang cả Yên Bái.

Ít lâu sau, ông được cử về tham gia lãnh đạo phong trào cách mạng ở Hà Nội. Bà con buôn bán ở Hà Nội, nhất là Hàng Ngang, Hàng Đào, Hàng Bồ có nhiều doanh nhân tư sản gốc Đình Bảng, Bắc Ninh. Họ có quan hệ với nhau rất chặt chẽ. Ông đã tranh thủ tình đồng hương và khơi dậy tinh thần yêu nước của bà con, vận động ủng hộ Việt Minh.